Hồng y Nguyễn Văn Nhơn sinh ngày 1 tháng 4 năm 1938 tại Đà Lạt[6] trong một gia đình có truyền thống Công giáo lâu đời, và có nhà nằm ngay cạnh giáo xứ Thánh Nicôla Đà Lạt.[7] Gốc gia đình di cư từ giáo xứ An Truyền, xã Phú An, huyện Phú Vang, tỉnh Thừa Thiên – Huế, thuộc Tổng giáo phận Huế.[8] Cậu bé Nguyễn Văn Nhơn đã chịu phép Rửa tội sau đó vào ngày 12 tháng 4 cùng năm.[7][9] Song thân là ông Tađêô Nguyễn Văn Sang (qua đời năm 1983) và bà Maria Mađalêna Nguyễn Thị Vàng (qua đời năm 1982).[10] Cha mẹ ông có sáu người con: 3 trai và 3 gái,[11] trong số đó đã có ba người trong số đó đã đi theo con đường tu tập, gồm có 2 chị và ông.[10][11][12] Hai nữ tu sĩ là chị ông là nữ tu Marie Thánh Thể Nguyễn Thị Thọ (sinh năm 1923, mất năm 2016), thuộc Đan viện Cát Minh Sài Gòn, Bề trên tại đây từ năm 1971 – 1974 và 1977 – 1980[10][13] và Nữ tu Maria Claire thuộc Dòng Thánh Phaolô, qua đời năm 1992.[10] Năm 1958, song thân ông nhận Huân chương Hiệp sĩ của Tòa Thánh.[10]

Ngày 26 tháng 10 năm 1949, cậu bé Nguyễn Văn Nhơn rời Đà Lạt nhập học Tiểu chủng viện Thánh Giuse Sài Gòn bằng một chuyến xe lửa trên hành trình 300 km và nhiều nguy hiểm do hoàn cảnh chiến sự. Trong thời gian này, năm 1956, chủng sinh Nguyễn Văn Nhơn thoát chết sau chuyến đi chơi biển của Chủng viện tại Nước Ngọt, Đất Đỏ. Trong biến cố này, cậu Nhơn là một trong bốn chủng sinh bị nước nhấn chìm và là một trong hai chủng sinh bị bất tỉnh (người còn lại qua đời trong biến cố). Giám thị Lê Minh Châu là người đã hô hấp nhân tạo và cứu sống cậu.[14][15]

Sau khi tốt nghiệp tiểu chủng viện, để tiếp tục con đường tu học, chủng sinh Nhơn nhập học tại Giáo hoàng Học viện Thánh Piô X Đà Lạt, là một trong số những chủng sinh khóa đầu của học viện này (1958–1968).[7] Ông hoàn tất chương trình học tại đây năm 1968.[6][7]